import jieba
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfVectorizer
import  pandas as pd
from sklearn.preprocessing import MinMaxScaler
'''
停用词表
'''

def count_demo():

    '''
    文本特征抽取：CountVectorizer
    :return: 
    '''
    data=['lief is short, i like like python','life is too long, is dislike python']
    transfer=CountVectorizer()
    transfer = CountVectorizer(stop_words=['is', 'too'])
    data_new=transfer.fit_transform(data)
    print(data_new.toarray())


def count_chinese():
    '''
    中文文本特征抽取，自动分词
    :return:
    '''

    data=['今天狠残酷,明天更残酷,后天很美好但绝对大郎分是死在明天晚上,所以每个人不要放弃今天.',
          '我们看到的从很远星系来的光是在几百万年之前发出的这样当我们看到宇宙时,我们是在看它的过去.',
          '如果只用一种方式了解某样事物,你就不会真正了解它了辉事物真正含义的秘密取决于如何将其与我们所了解的平物相联系.']
    data_new=[]
    for sent in data:
        data_new.append(cut_word(sent))
    transfer=CountVectorizer(stop_words=['一种','如果','所以'])
    data1=transfer.fit_transform(data_new)
    print("稀疏矩阵\n" + str(data1))
    print("常规矩阵\n" + str(data1.toarray()))
    print(transfer.get_feature_names())
def cut_word(text):
    '''
    进行中文分词：“我爱北京天安门” => “我 爱 北京 天安门”
    :return: 
    '''
    return " ".join(list(jieba.cut(text)))


def tfidf_demo():
    '''
    使用tf-df的方法进行文本特征提取
    :return:
    '''
    data = ['今天狠残酷,明天更残酷,后天很美好但绝对大郎分是死在明天晚上,所以每个人不要放弃今天.',
            '我们看到的从很远星系来的光是在几百万年之前发出的这样当我们看到宇宙时,我们是在看它的过去.',
            '如果只用一种方式了解某样事物,你就不会真正了解它了辉事物真正含义的秘密取决于如何将其与我们所了解的平物相联系.']
    data_new = []
    for sent in data:
        data_new.append(cut_word(sent))
    transfer = TfidfVectorizer()
    data1 = transfer.fit_transform(data_new)
    print("稀疏矩阵\n" + str(data1))
    print("常规矩阵\n" + str(data1.toarray()))
    print(transfer.get_feature_names())





if __name__=="__main__":
    # count_demo()
    # count_chinese()
    # print(cut_word("我爱北京天安门"))
    # count_chinese()
    print(123)

